Use `take` where clearly safe to do so (bug#56521)

* lisp/emacs-lisp/seq.el (seq-take):
* lisp/auth-source.el (auth-source-secrets-search)
(auth-source-plstore-search):
* lisp/gnus/message.el (message-insert-formatted-citation-line):
* lisp/net/dbus.el (dbus-unregister-object):
* lisp/replace.el (occur-context-lines):
* test/src/print-tests.el (print-circular): Replace hand-written loop
or `butlast` call with `take` for clarity, performance and validation.
We have the equivalence
(take N LIST) = (butlast LIST (- (length LIST) N)).

* lisp/minibuffer.el (minibuffer-complete-history): Define sorting by metadata

(minibuffer-complete-history, minibuffer-complete-defaults):
Use completion metadata to disable sorting of the completion table
(bug#56613)

Implement last change on Haiku as well

* lisp/term/haiku-win.el (haiku-dnd-drag-handler): Stop
redisplaying here.
* src/haikuselect.c (haiku_note_drag_motion): Use
redisplay_preserve_echo_area.

Preserve echo area message when running DND mouse movement function

* lisp/term/x-win.el (x-dnd-movement): Stop redisplaying here.
* src/xterm.c (x_dnd_begin_drag_and_drop): Redisplay with the
echo area preserved.

Derive `Info-mode' from `special-mode'

* lisp/info.el (Info-mode): Derive `Info-mode' from `special-mode'.
This makes it easier to exclude it from globalized minor modes that
don't apply to special modes (such as `global-whitespace-mode' and
`global-display-fill-column-indicator-mode').

info-edit: Delay `ibuffer' var change until after `ibuffer' loads

* lisp/obsolete/info-edit.el: Delay the addition of `Info-edit-mode'
to the `ibuffer-help-buffer-modes' list until after `ibuffer' is
loaded.  This fixes a "(void-variable ibuffer-help-buffer-modes)"
error when `info-edit' is loaded before `ibuffer'.

Handle virtual modifiers in the DND scrolling code

* lisp/x-dnd.el (x-dnd-modifier-mask): Handle virtual modifiers.
* src/xfns.c (Fx_get_modifier_masks): New function.
(syms_of_xfns): Define new subr.
* src/xterm.c (x_get_keyboard_modifiers): New function.
* src/xterm.h: Update prototypes.

* lisp/minibuffer.el (minibuffer-complete-history): Ensure a list of strings

* lisp/subr.el (read-char-from-minibuffer, y-or-n-p): Simplify to use HIST=t.

* lisp/minibuffer.el (minibuffer-complete-history): Check for history=t.

Signal a user error when the history is not a list (bug#56613).

Add `take` and `ntake` (bug#56521)

These are useful list primitives, complementary to `nthcdr`.

* src/fns.c (Ftake, Fntake): New.
(syms_of_fns): Defsubr them.
* doc/lispref/lists.texi (List Elements):
* lisp/emacs-lisp/shortdoc.el (list): Document.
* lisp/emacs-lisp/byte-opt.el (side-effect-free-fns, pure-fns):
Declare `take` pure and side-effect-free.
* test/src/fns-tests.el (fns-tests--take-ref, fns--take-ntake):
New test.
* etc/NEWS: Announce.

Fix leaking of file descriptors due to pipe processes on MS-Windows

* src/w32proc.c (reader_thread): Wait for 'sys_close' to finish
processing the pipe read descriptor, before trying to close it.

* src/w32.c (sys_close): Attempt to detect when the reader thread
already exited, so that it would be possible to close descriptors
open by pipe processes for reading from the pipe.  (Bug#56606)

Improve handling of tilt scroll and flip options during DND

* lisp/x-dnd.el (x-dnd-mwheel-scroll): New function.
(x-dnd-handle-xdnd): Use that instead of abusing mwheel.el.

Prefer defvar-keymap in mpc.el

* lisp/mpc.el (mpc-mode-map, mpc-tagbrowser-dir-mode-map)
(mpc-volume-map, mpc-songs-mode-map): Prefer defvar-keymap.

Make `C' in over tramp work in archive mode

* lisp/arc-mode.el (archive-copy-file): Make `C' in over tramp
work (bug#56574).

; * src/xdisp.c (redisplay_tool_bar): Fix a possible typo.

Fix tab-bar resizing under 'auto-resize-tab-bars' = 'grow-only'

* src/xdisp.c (redisplay_tab_bar): Compute the desired height of
the tab-bar before iterating over the tab-bar string, to detect
the required resizing earlier.  Default 'change_p' to 'false'.

* lisp/tab-bar.el (tab-bar--update-tab-bar-lines): Support
'auto-resize-tab-bars' set to 'grow-only'.

Ensure that directories exist when copying files from archive

* lisp/arc-mode.el (archive-copy-file): If the directory the file is
being extracted to does not exist, then create it (bug#56603).

Improve error messaging when parent archive buffers are missing

* lisp/arc-mode.el (archive-write-file-member):
* lisp/tar-mode.el (tar-subfile-save-buffer): Give a better error
message when the parent buffer is dead (bug#56605).

Merge from origin/emacs-28

f5218385c0 Fix obsoletion of nntp-authinfo-file
10b6919870 ; Fix typos

Handle scrolling during XDND drag-and-drop

* lisp/x-dnd.el (x-dnd-get-object-rectangle): Handle cases where
`posn-x-y' is nil.
(x-dnd-modifier-mask, x-dnd-hscroll-flags, x-dnd-note-click):
New functions.
(x-dnd-click-count): New defvar.
(x-dnd-handle-xdnd): Handle button press events.

* src/xterm.c (x_dnd_send_position): Fix handling of mouse
rects.

Fix drag-and-drop button button flags

* src/xterm.c (x_dnd_send_position): Always send buttons
regardless of version.  Fix bit indices.
(handle_one_xevent): Likewise.

Fix python navigation problem with an empty line in nested defun

* lisp/progmodes/python.el (python-nav--beginning-of-defun): Fix
bug when point is on an empty line (bug#56600).

Fix xref links in `C-h o'

* lisp/help-fns.el (describe-symbol): Make xref links happen in
all sections (bug#49587).

* lisp/help-fns.el (describe-symbol): Add back/forward links.

* lisp/help-mode.el (help-make-xrefs): Factor out links from
here...
(help-xref--navigation-buttons): To here.

New test for make_symbol_constant

* test/src/data-tests.el (data-tests-make_symbol_constant): New
test.

* src/composite.c (find_automatic_composition): Fix off-by-one error.

Improve documentation of `posn-timestamp'

* doc/lispref/commands.texi (Accessing Mouse): Improve
documentation of `posn-timestamp' by actually describing the
timestamp it returns.

Update `eshell-variable-aliases-list` defcustom type

* lisp/eshell/esh-var.el (eshell-variable-aliases-list):
Add type for SIMPLE-FUNCTION value.

Comment docstrings in tramp-test macros

* test/lisp/net/tramp-tests.el (tramp--test-deftest-with-stat)
(tramp--test-deftest-with-perl, tramp--test-deftest-with-ls)
(tramp--test-deftest-direct-async-process): Comment docstring,
it doesn't work this way.  Use `tramp-test-vec' if appropriate.

Weed out some false positives in help-fns--mention-first-release

* lisp/help-fns.el (help-fns--mention-first-release): Weed out
things that give too many false positives (bug#49062).

Colored menu highlight in Lucid backend

* lwlib/xlwmenuP.h:
* lwlib/xlwmenu.h:
* lwlib/xlwmenu.c: Introduce resources to handle colored highlighting
of menu entries.
* doc/emacs/xresources.texi (Lucid Resources): Documentation.

Decrease network traffic with some XDND programs

* lisp/x-dnd.el (x-dnd-get-drop-width-height):
(x-dnd-get-drop-x-y): Remove functions.

(x-dnd-get-window-rectangle, x-dnd-intersect-rectangles)
(x-dnd-get-object-rectangle, x-dnd-get-drop-rectangle): New
functions.
(x-dnd-handle-xdnd): Generate mouse rectangles consisting of the
object (glyph) under point.

Allow ;;;###autoloading transient-define-prefix

* lisp/emacs-lisp/loaddefs-gen.el
(loaddefs-generate--make-autoload): Allow ;;;###autoloading
transient-define-prefix (bug#48694).

* lisp/transient.el (transient-define-prefix): Autoload.

Optimise `append` calls

Add the transforms

  (append) -> nil
  (append X) -> X
  (append '(X) Y) -> (cons 'X Y)
  (append (list X) Y) -> (cons X Y)
  (append (list X...) nil) -> (list X...)

and the argument transforms:

  (list X...) (list Y...) -> (list X... Y...)
  nil -> ;nothing
  CONST1 CONST2 -> CONST1++CONST2
  (list CONSTANTS...) -> '(CONSTANTS...)

(the last three for non-tail arguments only)

* lisp/emacs-lisp/byte-opt.el: New.

Improved cons optimisation

* lisp/emacs-lisp/byte-opt.el (byte-optimize-cons):
Add the transform

 (cons X (list Y...)) -> (list X Y...)

Transform (list) -> nil in source optimiser

This optimisation is already done in the code generator but performing
it at this earlier stage is a useful normalising step that uncovers
more opportunities.

* lisp/emacs-lisp/byte-opt.el (byte-optimize-list): New.

Delete obsolete variable gnus-secondary-servers

* lisp/gnus/gnus.el (gnus-secondary-servers): Delete variable
obsolete since 24.1.
* lisp/gnus/gnus-group.el (gnus-group-browse-foreign-server):
* lisp/gnus/gnus-int.el (gnus-start-news-server): Don't use above
deleted variable.

; * src/xdisp.c (try_window): Expand the commentary.  (Bug#56561)

Fix obsoletion of nntp-authinfo-file

* lisp/gnus/nntp.el (nntp-authinfo-file): Fix obsoletion.

; Fix typos

Merge from origin/emacs-28

db259d8fd3 Build Seccomp filter only if we have a 64-bit userspace (B...

Handle XDND mouse rects synchronously

* src/xterm.c (x_dnd_send_position): Record event X and Y for
consumption by the XdndStatus handler.  Ignore mouse rects if
waiting for status.
(x_dnd_send_leave): Clear pending DND event.
(handle_one_xevent): When handling XdndStatus, check if the
pending event is contained in the new mouse rect.

* lisp/url/url-vars.el (url-mime-separator-chars): Fix last cosmetic change

Extend tramp-tests

* test/lisp/net/tramp-tests.el (tramp--test-deftest-with-stat)
(tramp--test-deftest-with-perl, tramp--test-deftest-with-ls):
New defmacros.
(tramp-test18-file-attributes-with-stat)
(tramp-test18-file-attributes-with-perl)
(tramp-test18-file-attributes-with-ls)
(tramp-test19-directory-files-and-attributes-with-stat)
(tramp-test19-directory-files-and-attributes-with-perl)
(tramp-test19-directory-files-and-attributes-with-ls): New tests.
(tramp-test21-file-links): Delete also `tmp-name2'.
(tramp--test-deftest-direct-async-process): Rename from
`tramp--test--deftest-direct-async-process'.  Remove DOCSTRING.
Adapt callees.
(tramp--test-special-characters): Remove.  Move body to ...
(tramp-test41-special-characters): ... here.
(tramp--test-utf8): Remove.  Move body to ...
(tramp-test42-utf8): ... here.
(tramp-test41-special-characters-with-stat)
(tramp-test41-special-characters-with-perl)
(tramp-test41-special-characters-with-ls)
(tramp-test42-utf8-with-stat)
(tramp-test42-utf8-with-perl)
(tramp-test42-utf8-with-ls): Rewrite, using the new macros.

* lisp/tar-mode.el (tar-mode-map): Prefer defvar-keymap.

Build Seccomp filter only if we have a 64-bit userspace (Bug#56549)

* configure.ac (SIZEOF_LONG): New variable.
* lib-src/Makefile.in (SIZEOF_LONG): New variable; added conditional.

Fix ASAN error with fringe bitmap on NS

* src/nsterm.m (ns_define_fringe_bitmap): Correctly access fringe
bitmap data.  (Bug#56553)

; * src/nsterm.m (ns_draw_window_cursor): Fix last change.

Fix double unfocus during NS cursor display

* src/nsterm.m (ns_draw_window_cursor): Unfocus around calls to
draw_phys_cursor_glyph, then focus again later.  (bug#56559)

Only preserve PRIMARY and CLIPBOARD selection ownership by default

* lisp/cus-start.el (standard): Update defcustom type.
* src/xselect.c (x_should_preserve_selection): New function.
(x_clear_frame_selections): Use it to determine whether or not
to preserve a selection.
* src/xterm.c (x_preserve_selections): Fix tail initialization.
(syms_of_xterm): Update doc string of
`x-auto-preserve-selections'.

Avoid infloop in redisplay when displaying a tooltip

* src/xdisp.c (try_window): Ensure we fail if 'display_line'
indicates that the dimensions of the glyph matrix are
insufficient.  (Bug#56561)

Tweak how dired-copy-filename-as-kill handles file names with spaces

* lisp/dired.el (dired-copy-filename-as-kill): Quote files
containing spaces (bug#48657).

Adjust whitespace tests

Fix whitespace-mode display table restoration logic

* lisp/whitespace.el (whitespace-display-char-on): Fix the saving
logic -- `whitespace-mode' is on by this point (bug#48583).

Fix mailcap-user-mime-data doc string

* lisp/net/mailcap.el (mailcap-user-mime-data): Make the doc
string reflect the actual structure (bug#56568).

Fix generated drag-and-drop mouse rectangles

* lisp/x-dnd.el (x-dnd-get-drop-width-height): Handle window
width and height correctly.  Remove unused parameter.
(x-dnd-after-move-frame): New function.
(move-frame-functions): Add new hook.
(x-dnd-compute-root-window-position): New function.
(x-dnd-get-drop-x-y): Use that instead of `left' and `top'
parameters, which include the title bar.
(x-dnd-handle-xdnd): Update accordingly.
* src/xfns.c (Fx_translate_coordinates): New function.
(syms_of_xfns): New defsym.

Extend support for debugging Emacs with LLDB

* etc/emacs_lldb.py: Handle case of Lisp_Object being a
struct (--enable-lisp-type-checking).  Enable Emacs type category by
default.  Expand children in type summary for Lisp_Object.

; Ignore Apple Finder files, ignore dap-mode dir.

Merge from origin/emacs-28

6a05715552 Update the Samaritan's contact details in M-x doctor
d19834dfda ; Fix typos

Fix sending button presses if the drop target specified a mouse rectangle

* src/xterm.c (x_dnd_send_position): Handle button presses
specially, ignoring mouse rectangles.

Use notmuch thread:{} operator instead of performing two searches

This also avoids some command line length limit problems (bug#56442).

* gnus-search.el (gnus-search-run-search): Delete notmuch method.
(gnus-search-indexed-search-command): In the notmuch method, when
searching for threads, wrap whole query in thread:{} operator, and
always use --output=files, never --output=threads (bug#56442).

Fix --without-x build after previous image cache changes

* src/alloc.c (garbage_collect): Fix --without-all --without-x build.

Restore how (read-from-minibuffer ... read-expression-map) worked

* lisp/simple.el (read-expression-map): Don't override RET and C-j
here, since that leads to breakages of other usages of this map
(bug#56548).
(read--expression-map): New map.
(read--expression): Use it.

Make gnus display webp images inline

* lisp/gnus/mm-decode.el (mm-inline-media-tests): Add webp handler.
* lisp/net/mailcap.el (mailcap-mime-extensions): Add webp mimetype
(bug#56552).

Make image-map commands work with inline image attachments in mm

* lisp/gnus/mm-view.el (mm-inline-image): Use insert-image so that
point movement is more pleasant and so that image-map commands
work (bug#56554).

* lisp/image.el (put-image): Fix typo.

* lisp/image.el (put-image): Actually use the image-map keymap
(bug#56554).

Use compose-mail in submit-emacs-patch

* lisp/mail/emacsbug.el (submit-emacs-patch): Prefer
compose-mail-other-window over message-mail-other-window (bug#56555).

Make ps-print-ensure-fontified obsolete

* lisp/ps-print.el (ps-print-ensure-fontified): Redefine as
obsolete function alias for font-lock-ensure.  Update callers.

Prune animation cache when images are no longer reachable

* lisp/image.el (image-animate-timeout): Eject cached animated
images that are no longer reachable (bug#56546).

* src/image.c (Fclear_image_cache): Allow specifying a cached
animated image to eject.
(gif_load, webp_load): Adjust what to use as the caching key --
the identity of the list itself is apparently changed by some
callers.

Make image-cache-size also include the animation cache

* src/image.c (struct anim_cache, anim_create_cache): Store approx
cache size.
(gif_load, webp_load): Ditto.
(Fimage_cache_size): Also report animation cache size (bug#56546).

Prune the animation cache from gc

* src/alloc.c (garbage_collect): Prune animation cache
(bug#56546).

* src/gtkutil.c (xg_free_frame_widgets): Avoid compiler warning.

; * src/xterm.c (x_scroll_bar_expose, mark_xterm): Fix last change.

Update the Samaritan's contact details in M-x doctor

* lisp/play/doctor.el (doctor-death): Update the Samaritans's contact
details; anon.twwells.com is no longer valid.  Add link to Wikipedia.

Silence unused variable warning in a build --without-all

* src/xfns.c (Fx_double_buffered_p): Silence unused variable warning
in a build --without-all.

Compress hashcash headers by default

* lisp/mail/hashcash.el (hashcash-extra-generate-parameters):
Use compression by default.

; Fix compilation warnings in a build --without-all

* src/xterm.c (x_scroll_bar_expose, handle_one_xevent)
(mark_xterm): Avoid compiler warnings.  (Bug#56551)

Pacify -Wunused-macros in --without-all builds

* src/image.c (IMAGE_TYPE_INIT): Make conditional on image support.

; * lisp/xwidget.el (xwidget-webkit-browse-url): Mark as internal browser.

Update the 'etags' test suite

* ETAGS.good_1:
* ETAGS_good_2:
* ETAGS_good_3:
* ETAGS_good_4:
* ETAGS_good_5:
* ETAGS_good_6: Adapt to recent changes in test sources.

; Fix typos

Try to restore the initial "daemon" frame when a display goes down

* src/xterm.c (x_try_restore_frame): New function.
(x_connection_closed): Call it if selected_frame is nil.

; Fix typos

; Fix typos: prefer American spelling

Merge from origin/emacs-28

76878ce6a0 * etc/PROBLEMS: Describe problems with remote files.  (Bug...

; Merge from origin/emacs-28

The following commit was skipped:

ae0881e52c ; Auto-commit of loaddefs files.

Merge from origin/emacs-28

9db6817d63 Remove uneffective test
7af88de410 Mark async worker tmp file as utf-8-emacs-unix (bug#48029)

# Conflicts:
# test/src/comp-resources/comp-test-45603.el
# test/src/comp-tests.el

Make clear-image-cache clear the animation cache

* src/dispextern.h: Declare image_prune_animation_caches for use
in gc.

* src/image.c (Fclear_image_cache): Clear animation cache.
(anim_prune_animation_cache, anim_get_animation_cache): Allow
clearing in addition to pruning.
(imagemagick_prune_animation_cache)
(imagemagick_get_animation_cache): Ditto.
(image_prune_animation_caches): New function (bug#56546).

; Merge from origin/emacs-28

The following commit was skipped:

2209650089 Adapt Tramp version (don't merge)

Merge from origin/emacs-28

5e47ec9511 ; * lisp/url/url-http.el (url-http-parse-headers): Fix typo.
ba0871bef1 ; Fix typos: prefer American spelling
e3e7f31faa Adapt Tramp doc

# Conflicts:
# etc/NEWS
# etc/themes/modus-themes.el
# lisp/emacs-lisp/byte-opt.el
# test/lisp/so-long-tests/spelling-tests.el

Improve support for debugging Emacs with LLDB

* etc/emacs_lldb.py: Refactor and support more Lisp types.

* etc/PROBLEMS: Describe problems with remote files.  (Bug#56499)

; * lisp/leim/quail/indian.el (tamil-translation-rules): Doc fix.

Add new customizable phonetic Tamil input method

* lisp/language/indian.el ("Tamil"): Change the default input method
of the Tamil language environment to the new input method.

* lisp/leim/quail/indian.el
(quail-tamil-itrans-compute-syllable-table): New function extracted
from...
(quail-tamil-itrans-syllable-table): ... here.  Use the above
function.
(quail-tamil-itrans--consonant-order): Auxiliary variable for the
above function.
(quail-tamil-itrans-compute-signs-table): Add new VARIOUS argument.
(quail-tamil-itrans-various-signs-and-digits-table)
(quail-tamil-itrans-various-signs-table): Adjust call to the above
function.

("tamil-phonetic"): Add new input method.
(tamil-input): New group for the input method.
(tamil-translation-rules): New defcustom for the input method to
change the translation rules.

(tamil--syllable-table, tamil--signs-table, tamil--hashtables)
(tamil--vowel-signs): Internal variables used by the input method.
(tamil--setter, tamil--make-tables)
(tamil--update-quail-rules): Internal functions for the input method.
(bug#56323)

* etc/NEWS: Announce the new input method.

Fix killing Emacs upon display disconnect

* src/xterm.c (x_connection_closed): On Xt builds terminals can
be left alive without any frames on them, so take that into
account.  (bug#56528)

; * src/xterm.c (x_error_handler): Fix magic numbers.

; Auto-commit of loaddefs files.

; Auto-commit of loaddefs files.

Prefer defvar-keymap in tab-bar.el

* lisp/tab-bar.el: Prefer keymap-set.
(tab-bar-map, tab-switcher-mode-map)
(tab-bar-switch-repeat-map, tab-bar-move-repeat-map): Prefer
defvar-keymap.

Remove uneffective test

* test/src/comp-tests.el (45603-1): Remove test.
* test/src/comp-resources/comp-test-45603.el: Delete.